Automated offensive language detection is essential in combating the spread of hate speech, particularly in social media. This paper describes our work on Offensive Language Identification in low resource Indic language Marathi. The problem is formulated as a text classification task to identify a tweet as offensive or non-offensive. We evaluate different mono-lingual and multi-lingual BERT models on this classification task, focusing on BERT models pre-trained with social media datasets. We compare the performance of MuRIL, MahaTweetBERT, MahaTweetBERT-Hateful, and MahaBERT on the HASOC 2022 test set. We also explore external data augmentation from other existing Marathi hate speech corpus HASOC 2021 and L3Cube-MahaHate. The MahaTweetBERT, a BERT model, pre-trained on Marathi tweets when fine-tuned on the combined dataset (HASOC 2021 + HASOC 2022 + MahaHate), outperforms all models with an F1 score of 98.43 on the HASOC 2022 test set. With this, we also provide a new state-of-the-art result on HASOC 2022 / MOLD v2 test set.

The research on text summarization for low-resource Indian languages has been limited due to the availability of relevant datasets. This paper presents a summary of various deep-learning approaches used for the ILSUM 2022 Indic language summarization datasets. The ISUM 2022 dataset consists of news articles written in Indian English, Hindi, and Gujarati respectively, and their ground-truth summarizations. In our work, we explore different pre-trained seq2seq models and fine-tune those with the ILSUM 2022 datasets. In our case, the fine-tuned SoTA PEGASUS model worked the best for English, the fine-tuned IndicBART model with augmented data for Hindi, and again fine-tuned PEGASUS model along with a translation mapping-based approach for Gujarati. Our scores on the obtained inferences were evaluated using ROUGE-1, ROUGE-2, and ROUGE-4 as the evaluation metrics.

The monolingual Hindi BERT models currently available on the model hub do not perform better than the multi-lingual models on downstream tasks. We present L3Cube-HindBERT, a Hindi BERT model pre-trained on Hindi monolingual corpus. Further, since Indic languages, Hindi and Marathi share the Devanagari script, we train a single model for both languages. We release DevBERT, a Devanagari BERT model trained on both Marathi and Hindi monolingual datasets. We evaluate these models on downstream Hindi and Marathi text classification and named entity recognition tasks. The HindBERT and DevBERT-based models show superior performance compared to their multi-lingual counterparts. These models are shared at https://huggingface.co/l3cube-pune .

Pre-training large neural language models, such as BERT, has led to impressive gains on many natural language processing (NLP) tasks. Although this method has proven to be effective for many domains, it might not always provide desirable benefits. In this paper, we study the effects of hateful pre-training on low-resource hate speech classification tasks. While previous studies on the English language have emphasized its importance, we aim to augment their observations with some non-obvious insights. We evaluate different variations of tweet-based BERT models pre-trained on hateful, non-hateful, and mixed subsets of a 40M tweet dataset. This evaluation is carried out for the Indian languages Hindi and Marathi. This paper is empirical evidence that hateful pre-training is not the best pre-training option for hate speech detection. We show that pre-training on non-hateful text from the target domain provides similar or better results. Further, we introduce HindTweetBERT and MahaTweetBERT, the first publicly available BERT models pre-trained on Hindi and Marathi tweets, respectively. We show that they provide state-of-the-art performance on hate speech classification tasks. We also release hateful BERT for the two languages and a gold hate speech evaluation benchmark HateEval-Hi and HateEval-Mr consisting of manually labeled 2000 tweets each. The models and data are available at https://github.com/l3cube-pune/MarathiNLP .

语言模型是使用大量通用数据（如Book Copus，Common Crawl和Wikipedia）进行预训练的，这对于模型了解语言的语言特征至关重要。新的研究建议将域自适应预训练（DAPT）和任务自适应预训练（TAPT）作为最终填充任务之前的中间步骤。此步骤有助于涵盖目标域词汇，并改善下游任务的模型性能。在这项工作中，我们仅研究训练在TAPT和特定于任务的填充过程中嵌入层对模型性能的影响。基于我们的研究，我们提出了一种简单的方法，以通过对BERT层进行选择性预训练，使基于BERT的模型的中间步骤更有效。我们表明，在TAPT期间仅训练BERT嵌入层足以适应目标域的词汇并实现可比的性能。我们的方法在计算上是有效的，在TAPT期间训练了78％的参数。所提出的嵌入层列式方法也可以是一种有效的域适应技术。

仇恨言论在社交媒体领域的传播目前是一个严重的问题。对这些平台上生成的大量信息的不符合访问导致人们发布和反应发起暴力的有毒内容。尽管已经努力在线检测和限制此类内容，但准确识别它仍然具有挑战性。基于深度学习的解决方案一直处于识别可恶内容的最前沿。但是，诸如仇恨言论的上下文依赖性，用户的意图，不希望的偏见等因素使这个过程过度批评。在这项工作中，我们通过提出这些问题的层次结构组织来深入探索自动仇恨言论检测的广泛挑战。我们专注于机器学习或基于深度学习的解决方案所面临的挑战。在最高级别，我们将数据级别，模型级别和人类级别的挑战区分开。我们进一步提供了详细的分析层次结构的示例。这项调查将帮助研究人员在仇恨言论检测领域更有效地设计其解决方案。

流动自动语音识别（ASR）模型更为流行，适合基于语音的应用程序。但是，非流入模型在查看整个音频上下文时提供了更好的性能。为了利用语音搜索等流媒体应用程序中非流游模型的好处，它通常在第二通过重新评分模式下使用。使用蒸汽模型生成的候选假设是使用非流程模型重新评分的。在这项工作中，我们在独立和重新评分模式的Flipkart语音搜索任务上评估了基于注意力的端到端ASR模型。这些模型基于收听拼写（LAS）编码器编码器架构。我们基于LSTM，变压器和构象异构体进行不同的编码器变化。我们将这些模型的延迟要求与它们的性能进行比较。总体而言，我们表明，变压器模型提供了可接受的延迟要求。我们报告的相对改善约为16％，第二次通过LAS重新评分，延迟开销低于5ms。我们还强调了CNN前端使用变压器体系结构的重要性，以达到可比的单词错误率（WER）。此外，我们观察到，在第二次通过重新评分模式下，所有编码器都提供了相似的好处，而在独立文本生成模式下，性能差异很明显。

文本分类是一种基本的自然语言处理任务，具有各种应用，其中深度学习方法产生了最先进的结果。虽然这些模型对他们的黑匣子的性质严重批评，但他们对输入文本中的轻微扰动的鲁布利是一个关注的问题。在这项工作中，我们进行了一种数据专注的研究，评估系统实际扰动对基于CNN，LSTM和基于BERT的算法的深度学习的文本分类模型的性能的影响。通过添加和移除不需要的代币，如标点符号和止挡词的添加和删除与模型的最终性能相关联的不需要的令牌引起的扰动。我们表明，这些深度学习方法包括BERT在四个标准基准数据集SST2，TREC-6，BBC新闻和Tweet_eval上的这种合法输入扰动敏感。与添加令牌相比，我们观察到伯特更容易去除令牌。此外，与基于CNN的模型相比，LSTM对输入扰动稍微敏感。这项工作还担任评估模型最终表现的火车测试条件下差异影响的实用指南。

以互联网上的文件形式存储的信息量迅速增加。因此，它已成为以最佳方式组织和维护这些文件的必要性。文本分类算法研究文本中单词之间的复杂关系，并尝试解释文档的语义。这些算法在过去几年中已经显着发展。从简单的机器学习算法到基于变压器的架构有很多进展。然而，现有文献在不同的数据集上分析了不同的方法，从而难以比较机器学习算法的性能。在这项工作中，我们使用标准机器学习方法重新审视长文件分类。我们在六个标准文本分类数据集中从简单的天真贝叶斯到复杂伯爵的基准方法。我们在一系列长文档数据集中呈现了不同算法的详尽比较。我们重新延长了长篇文档分类是一个更简单的任务，甚至基本算法竞争地在大多数数据集上具有基于BERT的方法。基于BERT的模型在所有数据集上始终如一地执行，并且当计算成本不是一个问题时，可以盲目地用于文档分类任务。在浅模范的类别中，我们建议使用原始Bilstm + Max架构的用法，这些架构在所有数据集中体面效果。即使是更简单的手套+注意单词模型也可用于更简单的用例。在IMDB情绪数据集中清晰可见使用复杂模型的重要性，这是一个相对较难的任务。

情绪分析是最基本的NLP任务，用于确定文本数据的极性。在多语言文本领域也有很多工作。仍然讨厌和令人反感的语音检测面临着挑战，这是由于数据的可用性不足，特别是印度和马拉地赛等印度语言。在这项工作中，我们考虑了印地语和马拉地养文本的仇恨和令人反感的语音检测。使用艺术的深度学习方法的状态制定了该问题作为文本分类任务。我们探讨了CNN，LSTM等不同的深度学习架构，以及多语言伯爵，烟草和单晶罗伯塔等伯特的变化。基于CNN和LSTM的基本模型将使用快文文本嵌入式增强。我们使用HASOC 2021 HINDI和MARATHI讨论语音数据集来比较这些算法。 Marathi DataSet由二进制标签和后印度数据集组成，包括二进制和更精细的粗糙标签。我们表明，基于变压器的模型表现了最佳甚至基本型号以及FastText Embeddings的基本模型具有竞争性能。此外，通过普通的超参数调谐，基本模型比细粒度的Hindi数据集上的基于BERT的模型更好。